KARMA: Training-Free Knowledge-Atomic Harness Evolution for Industrial Advertising Agents
KARMA：工业广告 Agent 的无训练知识原子化 Harness 演化
🧭 Agent harness 无训练知识演化 ★ 深度解读
Alibaba International Digital Commerce Group
冻结模型权重与可执行 harness，以六类类型化知识模块的原子编辑+验证门控，使广告 Agent 离线动作一致性平均提升 29.7%
📌 工作参考价值（4 点）
- 把 prompt/harness 拆成可版本化的知识模块：role、domain、experience、constraints、output_protocol、action_descriptions 六类模块，规则带稳定 rule ID、来源、before/after journal，所有变更走唯一 write boundary。电商/广告 Agent 可借此在不改代码、不微调模型的情况下，按商品/活动/政策变化审计和回滚决策知识。
- 先做确定性轨迹诊断，再做知识编辑：Trace Verifier 不用 LLM 就把失败分为 no_action / wrong_action_type / wrong_direction，并按固定映射定位候选模块；同时把成功和失败轨迹都送给 Critic。能避免只看失败导致修复过拟合、破坏已有正确决策，适合推荐/广告策略中“该不该调、调哪里”的归因场景。
- 小步编辑 + 验证门控 + 快照回滚：每轮最多 3 个原子 edit，固定 validation set 要求 gain≥1 point 才保留，否则恢复 snapshot；可缓存 baseline validation，避免每轮 2 次全量评估，工程成本可控。可直接复用到电商 Agent 的离线知识更新流程，降低上线风险。
- 跨域知识复用要分源域评估：Long-tail/Others 域演化出的规则对多数目标域都有正向迁移，平均 hold-out gain +15.38；但 Automotive 源域对所有其他域都负迁移。若要做跨品类 Agent 知识冷启动，优先用长尾/综合流量积累的通用规则，但仍需在目标域做验证，不能假设迁移一定为正。